DE eng

Search in the Catalogues and Directories

Page: 1 2 3 4 5 6 7 8 9...71
Hits 81 – 100 of 1.420

81
Visual generics: How adults understand generic language with different visualizations ...
Menendez, David. - : Open Science Framework, 2021
BASE
Show details
82
Improving Multilingual Models for the Swedish Language : Exploring CrossLingual Transferability and Stereotypical Biases
Katsarou, Styliani. - : KTH, Skolan för elektroteknik och datavetenskap (EECS), 2021
Abstract: The best performing Transformer-based Language Models are monolingual and mainly focus on high-resource languages such as English. In an attempt to extend their usage to more languages, multilingual models have been introduced. Nevertheless, multilingual models still underperform on a specific language when compared to a similarly sized monolingual model that has been trained solely on that specific language. The main objective of this thesis project is to explore how a multilingual model can be improved for Swedish which is a low-resource language. We study if a multilingual model can benefit from further pre-training on Swedish or on a mix of English and Swedish text before fine-tuning. Our results on the task of semantic text similarity show that further pre-training increases the Pearson Correlation Score by 5% for specific cross-lingual language settings. Taking into account the responsibilities that arise from the increased use of Language Models in real-world applications, we supplement our work by additional experiments that measure stereotypical biases associated to gender. We use a new dataset that we designed specifically for that purpose. Our systematic study compares Swedish to English as well as various model sizes. The insights from our exploration indicate that the Swedish language carries less bias associated to gender than English and that higher manifestation of gender bias is associated to the use of larger Language Models. ; De bästa Transformerbaserade språkmodellerna är enspråkiga och fokuserar främst på resursrika språk som engelska. I ett försök att utöka deras användning till fler språk har flerspråkiga modeller introducerats. Flerspråkiga modeller underpresterar dock fortfarande på enskilda språk när man jämför med en enspråkig modell av samma storlek som enbart har tränats på det specifika språket. Huvudsyftet med detta examensarbete är att utforska hur en flerspråkig modell kan förbättras för svenska som är ett resurssnålt språk. Vi studerar om en flerspråkig modell kan dra nytta av ytterligare förträning på svenska eller av en blandning av engelsk och svensk text innan finjustering. Våra resultat på uppgiften om semantisk textlikhet visar att ytterligare förträning ökar Pearsons korrelationspoäng med 5% för specifika tvärspråkiga språkinställningar. Med hänsyn till det ansvar som uppstår från den ökade användningen av språkmodeller i verkliga tillämpningar, kompletterar vi vårt arbete med ytterligare experiment som mäter stereotypa fördomar kopplade till kön. Vi använder en ny datauppsättning som vi har utformat specifikt för det ändamålet. Vår systematiska studie jämför svenska med engelska samt olika modellstorlekar. Insikterna från vår forskning tyder på att det svenska språket har mindre partiskhet förknippat med kön än engelska, samt att högre manifestation av könsfördomar är förknippat med användningen av större språkmodeller.
Keyword: Computer and Information Sciences; Cross-Lingual Transfer; Data- och informationsvetenskap; Deep Learning; Multilingual Models; Natural Language Processing; Stereotypical Biases; Transformers
URL: http://urn.kb.se/resolve?urn=urn:nbn:se:kth:diva-305920
BASE
Hide details
83
Effects of EFL Learning on L1 Chinese Lexis
In: Sustainability; Volume 13; Issue 23; Pages: 13496 (2021)
BASE
Show details
84
Automated Paraphrase Quality Assessment Using Language Models and Transfer Learning
In: Computers; Volume 10; Issue 12; Pages: 166 (2021)
BASE
Show details
85
Transfer Capital or Transfer Deficit: A Dual Perspective of English Learning of ESL College Transfer Students
In: Sustainability; Volume 14; Issue 1; Pages: 214 (2021)
BASE
Show details
86
DATLMedQA: A Data Augmentation and Transfer Learning Based Solution for Medical Question Answering
In: Applied Sciences; Volume 11; Issue 23; Pages: 11251 (2021)
BASE
Show details
87
Modeling Heritage Language Phonetics and Phonology: Toward an Integrated Multilingual Sound System
In: Languages; Volume 6; Issue 4; Pages: 209 (2021)
BASE
Show details
88
NASca and NASes: Two Monolingual Pre-Trained Models for Abstractive Summarization in Catalan and Spanish
In: Applied Sciences ; Volume 11 ; Issue 21 (2021)
BASE
Show details
89
Heritage Tagalog Phonology and a Variationist Framework of Language Contact
In: Languages; Volume 6; Issue 4; Pages: 201 (2021)
BASE
Show details
90
Reusing Monolingual Pre-Trained Models by Cross-Connecting Seq2seq Models for Machine Translation
Oh; Choi
In: Applied Sciences ; Volume 11 ; Issue 18 (2021)
BASE
Show details
91
Generating Synthetic Disguised Faces with Cycle-Consistency Loss and an Automated Filtering Algorithm
In: Mathematics; Volume 10; Issue 1; Pages: 4 (2021)
BASE
Show details
92
Methods for Detoxification of Texts for the Russian Language
In: Multimodal Technologies and Interaction ; Volume 5 ; Issue 9 (2021)
BASE
Show details
93
Machine Translation in Low-Resource Languages by an Adversarial Neural Network
In: Applied Sciences; Volume 11; Issue 22; Pages: 10860 (2021)
BASE
Show details
94
3D Expression-Invariant Face Verification Based on Transfer Learning and Siamese Network for Small Sample Size
In: Electronics ; Volume 10 ; Issue 17 (2021)
BASE
Show details
95
Spanish-Catalan linguistic transfers: A study of lexical availability in Lleida ; Transferències lingüístiques castellà-català: un estudi de disponibilitat lèxica a Lleida
In: Treballs de Sociolingüística Catalana; Núm. 31 (2021): L’estandardologia comparada: teoria i pràctica; 149-164 (2021)
BASE
Show details
96
Держать, читать oder говорить доклад?! – Kollokationen und andere lexikalische Einheiten in der Sprachausbildung russischer Herkunftssprecher
Karl, Katrin Bente. - : Humboldt-Universität zu Berlin, 2021
BASE
Show details
97
Identifying Datooga loans in Iraqw - and the other way round ...
Kießling, Roland. - : Zenodo, 2021
BASE
Show details
98
Identifying Datooga loans in Iraqw - and the other way round ...
Kießling, Roland. - : Zenodo, 2021
BASE
Show details
99
Держать, читать oder говорить доклад?! – Kollokationen und andere lexikalische Einheiten in der Sprachausbildung russischer Herkunftssprecher ...
Karl, Katrin Bente. - : Humboldt-Universität zu Berlin, 2021
BASE
Show details
100
Surveying Motion Lexicalisation Patterns in L1-Portuguese/FL-English Bilinguals ...
Ferreira, Renan. - : Open Science Framework, 2021
BASE
Show details

Page: 1 2 3 4 5 6 7 8 9...71

Catalogues
50
5
1
0
0
0
6
Bibliographies
105
0
0
0
0
0
0
2
8
Linked Open Data catalogues
0
Online resources
0
0
0
0
Open access documents
1.281
2
0
0
0
© 2013 - 2024 Lin|gu|is|tik | Imprint | Privacy Policy | Datenschutzeinstellungen ändern